Thành Gifu do gia tộc Nikaidō xây dựng từ năm 1201 đến năm 1204 trong thời kỳ Kamakura[1].

Ban đầu nó được gọi là thành Inabayama (稻葉山城 Đạo Diệp Sơn thành). Thành Gifu đã trải qua rất nhiều đợt cải tạo. Mặc dù nổi tiếng vì khả năng phòng ngự, nó đã có lần bị chiếm bởi một lực lượng chỉ gồm 16 người.

Sử sách chép rằng một lần một người tên là Takenaka Hanbei đến lâu đài để thăm người anh bị ốm của mình, Saitō Tatsuoki. Thực tế, ông không đến để thăm anh trại mình, mà để giết ông ta. Khi Hanbei tấn công ông ta, Tatsuoki rất bối rối và tin rằng quân địch đang tấn công mình rồi tháo chạy. Sau đó, Hanbei giành được lâu đài Inabayama tương đối dễ.

Sau đó, Hanbei trả lâu đài lại cho anh mình, nhưng Tatsuoki đã mất phần lớn danh dự và uy tín vì hành động hèn nhát của mình. Khi Oda Nobunaga tấn công lâu đài Inubayama, rất nhiều lính của Tatsuoki nhớ lại sự kiện đó rồi đầu hàng Oda. Sau khi dễ dàng đánh bại Tatsuoki, Nobunaga chiếm được lâu đài và biến nó thành nới phác thảo các kế hoạch quan trọng của mình.

Nobunaga đổi tên pháo đài này thành "lâu đài Gifu", theo lệ của Trung Quốc cổ đại. Nobunaga sau đó tiến hành cải tạo lâu đài thành một công trình kiến trúc ấn tượng và hùng vĩ hơn hẳn so với ban đầu. Luis Frois, một người truyền đạo Thiên Chúa nổi tiếng từ Bồ Đào Nha, đã được Nobunaga mời đến thăm lâu đài. Sau khi ở lại Gifu trong một thời gian ngắn, Frois ca ngợi rằng lâu đài có một vẻ đẹp phi thường.